Shackleton raconte son expédition a bord de l'Endurance.
Le projet initial est de faire la première traversée du continent Antarctique. Un bateau, l'Endurance, doit conduire une équipe a la mer de Weddell pour commencer la traversée. Un autre bateau, l'Aurora, doit se rendre a la mer de Ross pour déposer des provisions sur la partie finale du parcours.
Shackleton faisant partie de l'expédition de l'Endurance, le livre se concentre principalement sur le sort de cette équipe. L'endurance se retrouve prisonnier du pack de la mer de Weddell jusqu'à finir par se faire écraser. L'équipage passent plusieurs mois à la dérive sur le pack de glace. Ils finissent par sortir du pack lorsque celui ci se défait et réussissent a se réfugier sur l'île de l'éléphant. La majorité du groupe reste sur cette ile pendant qu'un petit groupe part en chaloupe chercher de l'aide en Géorgie du Sud. Shackleton et son petit équipage réussissent a traverser les mers démontées et arrivent cote sud de l'île. Or les villages de pécheurs sont au nord. Ils parcourent a pieds les glaciers de l'île et arrivent aux village ou ils peuvent solliciter de l'aide pour récupérer l'équipage entier.
Malgré tout ce que cette équipe a du franchir tous les membres de l'équipage sont revenus.
La partie finale du livre se consacre aux aventurent du deuxième bateau. Shackleton n'ayant pas participe, il se base sur les récits et journaux des membres de l'Aurora. Les évènements ne se sont pas passes comme prévus pour l'Aurora non plus. Les trajets pour aller poser les provisions ont été biens plus difficiles que prévus et certains hommes y ont perdu la vie. Les amarres de l'Aurora se sont rompues, laissant par surprise une partie de l'équipe sur le continent.